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Fehlerrobust Macroblock Mode- und Ref erenzbild-Auswahl 

Welches technische Problem soil durch Ihre Erfindung gelost 
we r den? 

Aktuelle videocodierstandards konnen Sequenzen mit einer 
haufigeren Anzahl von Intra- codiert en Macroblocken codieren. 
Dieses kann regelmafiig getan werden oder basierend auf rate- 
distortion Kriterien (INTRA update zur Vermeidung von 
Fehlerfortpflanzung) . Zusatzlich wird die Leistungsfahigkeit 
erhoht durch die Benutzung mehrerer Referenzbilder . Jedoch 
wenn beide Optionen kombiniert werden und eine Ubertragung 
uber fehleranfallige Netze durchgefuhrt wird kann es 
passieren, daS ein erfolgter INTRA update durch eine 
Referenz auf ein alteres Bild uberschrieben wird. 

Wie wurde dieses Problem bisher gelost? 

Das Problem war bisher nicht bekannt . 

In welcher Weise lost Ihre Erfindung das angegebene technische 
Problem (geben Sie Vorteile an) ? 

Das Abschalten der mehrfachen Referenzbilder bei 
fehlerhafter Ubertragung wurde die Komprimierungs- 
Leistungsfahigkeit erheblich senken. Folglich ist eine 
geschickte Beschrankung der Referenzbilder notwendig. Wir 
stellen eine einfache aber leistungsf ahige Methode fur die 
Referenzbild-Beschrankung vor,die im Allgemeinen versucht zu 
vermeiden, Bereiche vor einem aufgrund fehlerhafter 
ubertragung erzwungenen Intra-Update als Referenz zu 
verwenden. Die Ref erenzbildbeschrankung kann zusammen mit 
irgendeiner Intra-Aktualisierung (regelmafiig, zufallig, 
optimiert) verwendet werden. 
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Zur besseren Darstellung wird eine Fehlerverscheierung 

verwendet, die bei Inter- Codierung die entsprechenden 

Bereiche aus dem vorhergehenden Bild kopiert und bei Intra - 
Codierung den Wert 127(grau) einsetzt. 

Worin liegt der erf inderische Schritt? 

In der sinnvollen Einschrankung der moglichen Codiermodi, urn 
die Codiereff izienz beizubehalten. 



Einleitung 

Der Testmodel -Encoder von TML9.4 [1] kann Sequenzen mit einer 
haufigeren Anzahl von Intra- codiert en Macroblocken codieren 
Dieses kann regelmaSig getan werden oder auf basierend au 
Raten-Verzerrungs (rate-distortion) Kriterien basieren 

Zusatzlich wird erhoht die Leistungsf ahigkeit von TML9 . 4 auch 
durch die Benutzung mehrfache Ref erenzbilder gesteigert [4,8]. 
Jedoch wenn beide Optionen kombiniert werden und eine 
Ubertragung iiber f ehleranf allige Netzen durchgefuhrt wird ist in 
vielen Fallen der Verzicht auf mehrfache Ref erenzbilder von 
Vorteil. Der Grund dafiir ist in Abbildung 1 veranschaulicht , wo 
vier auf einanderf olgende Bilder der Testsequenz tempete gezeigt 
werden. 





Abbildung 1 Decodierte Bilder Nr. 9, 10, 11, 12 der Tempete Testsequenz mit mehreren Referenzbildern und 
regularen Intra Macroblock Auffrischung fur nichtbegrenzte Referenzbilder 

Die CIF-Sequenz wurde mit regelmaSiger Intra-Aktualisierung (1 
GOB pro Bild) codiert und ubertragen iiber die Internet- 
Testmuster [2] mit Startposition 0. Eine Slice und folglich ein 
Ubertragungspaket besteht aus zwei Macroblock-Zeilen. 5 
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Referenzbilder wurdff erlaubt. Zur besseren L?Pstellung wird 
eine Fehlerverschleierung verwendet (es wird der entsprechende 
Bereich aus dem vorhergehenden Bild kopiert fur P-Bilder und der 
Wert 127 wird eingesetzt fur das erste Intra-Bild) . I» ersten 
Bild wurde ein Paket verloren. Der Fehler ist noch « 9. 
decodierten Bild zu sehen. In Bild 10, wird eine regelmaSxge 
Intra-Aktualisierung (1 GOB) durchgefuhrt und die erste Zexle xm 
grauen Bereich ist verschwunden . In Bild 11 werden fur dxe 
Pradiktion groSer Bildbereiche Referenzbilder verwendet, dxe 
zeitlich vor Bild 10 liegen und somit die Intra-Aktualisierung 
nicht enthalten. Deshalb erscheint ein grofcer Teil des grauen 
Bereiches wieder. 

Das gleiche Phanomen tritt in Bild 12 fur den aktualisierte 
intrabereich auf . Dieses Problem erhoht nicht nur das objektxve 
VerzerrungsmaS sondern ist auch subjektiv sehr storend. 




Abbildung 2 Decodierte Bilder Nr. 9, 10, 11, 12 der Tempete Testsequenz rait mehreren Referenzbildern und 
regularen Intra Macroblock Anffrischung fflr begrenzte Referenzbilder 

Dieses Beispiel zeigt das grundlegende Problem, wenn mehrfache 
Referenzbilder und Intra-Aktualisierung kombiniert werden. 

•edoch wurde das Abschalten der mehrfachen Referenzbilder bei 
ehlerhafter Ubertragung die Komprimierungs-Leistungsf ahigkeit 
erheblich senken. Folglich ist eine geschickte Beschrankung der 
Referenzbilder notwendig. Wir stellen eine einfache aber 
leistungsfahige Methode fur die Ref erenzbild-Beschrankung vor. 
Die gleichen Bilder fur die Testsequenz sind in Abbildung 2 fur 
die Ref erenzbild-Beschrankung gezeigt . Die Bitratenzunahme ist 
in diesem Fall ca. 5%. Zusatzlich wird die raten-verzerrungs- 
optimierte Macroblock- Mode Entscheidung, so erweitert, dass auch 
das Referenzbild ausgewahlt werden kann. 
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Referenzbildbe^irankung 

— Im folgenden atellea w ix— eine R e f e r o ngbildb e ^l ij. dukmig ~wr- — ate 

im Allgemeinen versucht zu vermeiden, Bereiche vor einem 
aufgrund fehlerhafter Ubertragung erzwungenen Intra-Update als 
Referenz zu verwenden. Die Ref erenzbildbeschrankung kann 
zusammen mit irgendeiner Intra -Aktualisierung (regelmaSig, 
zufallig, optimiert) verwendet werden. 

Wir definieren fur jeden Macroblock* = 1>-> K e ine Zahl-^ , die das 
Referenzbild mit dem letzten erzwungen Intra-Update beinhaltet. 
Der erzwungene Intra-Update Vektor ist definiert als/ e {/'■»•••» fi ). 
Zusatzlich definieren wir einen binaren Vektor ee } # wobei 

eine gesetzte 1 angibt, dass dieser Macroblock aus 
Fehlerrobustheitsgrunden durch eine Intracodierung aktualisiert — 
wurde. Die Generierung dieser Vektoren wird spater nochmaltffc 
genauer erlautert . ^^3^ 
Fur jeden Macroblock (MB) * in Bild "werden nun die folgenden 4 
Schritte durchgefuhrt , urn die Ref erenzbilder zu beschranken: 

Fiir jeden inter-MB Codierungsmodus «aus der Menge der moglichen 
Intercodierungs-Modi W p und fiir jedes Referenzbild r aus der 
Menge der zuganglichen Ref erenzbilder R wahlt die raten- 
verzerrungs -optimierte Bewegungskompensation optimierte 

Bewegungsvektoren aus der Menge der moglichen 

Bewegungsvektoren V©»> aus m Das Set VQn Bewegungsvektoren hangt 
vom macroblock mode (z.B. 4x4, 16x16, etc.). ab. Dies wird 
erreicht indem die Langrange-Kostenfunktion, die den Lagrange 
Multiplikator *»- minimiert wird. Formalisiert stellt sich dJ 
dar als: 

v(m, r) = arg min(Z> 0 r 0 (w, r, v) + A»_ftu— (m, r, v)) , (i) 

V6^(/») 

wobei^ Z> DF D C'«.'-,v) d±e Verzerrung nach der Bewegungskompensation ist 
und Mo, io „ v) die An2ahl der B . ts beinhaltet/ d±e f „ r d . e 
Codierung der Bewegungsvektoren notwendig sind. 

in einem zweiten Schritt wird die Menge der moglichen 
Kombinationen von Macroblock-Mode und Ref erenz-Bilder { M p' R > 
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beschrankt. Aus der kompletten Menge ^ Mp ^^ werden die 
Kombinationen entfernt, bei denen von Bildbereicheri referenziert 
wird die spater aus Fehlerrobustheitsgrunden gezwungenermaSen 
Intra-aktualisiert wurden. Somit erhalten wir einen Menge von 
gultigen Kombinationen fur alle Inter-Modi °? . Formalisiert kann 
das ganze wie folgt dargestellt werden. 



Or = {{m 9 r)e {Mp 9 R}s ^M^Af^)> r}, « 

wobei 5 minfi( v ('"> r )» f > /: ) eine Operation fur MB *durchfuhrt bei der 
Bewegungsvektor v ( w,r \md der Vektor mit erzwungenen Intra- 
Aktualisierungen f benutzt wird urn das letzte . erlaubte 
Referenzbild zu erhalten. Dieser Ref erenzf rame wird verglichen 
mit dem verwendeten Referenzbild r und nur wenn das 
Funktionsergebnis groSer oder gleich dem Referenzbild r ±st, 
dann wird dann wird diese Kombination ( m ' r )in die Menge 
°p aufgenommen. 

Als nachtes wird basierend auf der der beschrankten Menge Q p 
und der Menge der Intra-codierten Modi die beste Kombination 
aus Macroblock-Modus und Ref erenz- Frame basierend auf Raten- 
Verzerrungs-Kriterien. Die Menge von zuganglichen Macroblock- 
Codier-Optionen O f xir P- frames wird definiert als die 
Vereinigungsmenge von des beschrankten Sets der Inter-Modes 
°*und alien moglichen Intra-Modi fur P-frames M i, also 
° ^ M/, °^K Somit, urn den optimierten Macroblock-Modus °^fuT 
den Macroblock * zu erhalten, wird die Lagrange- 
Kostenfunktion minimiert, also 



o(k) = argmin(/)(o)+ A Woi J?(o)) , (3) 



oeO 



wobei*©> die Anzahl der Bits beschreibt urn diesen Macroblock 
mit Modus o Z u codieren und die Verzerrung D <*» wie folgt. 
Falls ein regularer oder zufalliger Intra-Update verwendet 
wird ergibt sich die Verzerrung als die Summe der quadrierten 
Differenz zwischen Original-MB und rekonstruiertem MB in MB 



2002 P 01025 6 

k . im Falle vo^nEehleroptimierten Intra-UpoW:s ergibt sich 
die Verzerrung als der Erwartungswert der Verzerrung am 
Decoder. Eine genauere Beschreibung folgt im nachsten Kapitel. 

• SchlieSlich muss noch herausgefunden werden, ob der momentane 
Macroblock intracodiert wurde aufgrund von 
Fehlerrobustheitsgrunden oder aufgrund der Raten-Verzerrungs- 
Optimierung in (3). Somit, falls dieser Macroblock * intra- 
codiert wurde, also°(*) eAf ', dann wird die Minimierung in (3) 
wiederholt mit ° = { M />°/>} und das Resultat der Optimierung 
wird mit 5 <£>bezeichnet . Dann wird das Fehlerrobustheitsf lag 
fur diesen Macroblock e * entsprechend gesetzt, also & - <*>" ,(,> 
mit< W* dem Rronecker- Symbol, das 1 ist falls die Bedingung 

erfullt ist, sonst 0. 

• Wenn alle Macroblocke fur dieses Bild « verarbeitet sind wird 
der erzwungene Intra-Update Vektor fur alle Macroblock 
aktualisiert dort wo das Fehlerrobustheit-Flag e *auf 1 gesetzt 

ist, also V4 """ a "^ = n . 
. Geeignete Startbedingungen miissen beim Start des Encoders 
gesetzt werden. Zusatzlich kann eine effizientere 
Implement ierung in bezug auf Komplexitat erreicht werden und 
entsprechende modulo Operationen in die Zahler des 
Referenzbildspeichers eingefuhrt werden. Jedoch ist das nicht 
von primaren Interesse fur den Algorithmus an sich. 

Optimierte Macroblock Mode- und Referenzbild-Auswahl 

In diesem Abschnitt wird kurz die optimierte Mode-Auswahl 
vorgestellt wenn die Auswahl von Ref erenzbilder im 
Optimierungsprozess miteingeschlossen ist. Die Einbeziehung der 
Referenzbilder erscheint sinnvoll da die Pradiktion von weiter 
zuruckliegenden Ref erenzbi Idem auch Vorteile in bezug auf die 
Fehlerrobustheit verspricht . Der Algorithmus fur die 
kanaladaptive Raten-Verzerrungs -optimierte Macroblock-Mode- 
Auswahl und die Referenzbild-Auswahl ist identisch zu der im 
vorherigen Abschnitt erlauterten. Jedoch muss die Verzerrung D<0 > 
in (3) geeignet gewahlt werden, und zwar als die zu erwartende 
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Verzerrung am DeWder. Moglichkeiten zur Al^rchatzung dieser 
Verzerrung sind in u.a. [5], [6], [7] gezeigt. 

Eine mogliche Implementierung nach [4] wird hier nochmals kurz 
zusammengef asst . Die zu erwartende Verzerrung fur MB k fur Bild 
n soil ermittelt werden. D< &> ist die Summe der Erwartungswerte 
der quadratischen Pixel -Verzerrung ^* <&> wenn der momentane 
Macroblock mit Codieroption ° codiert wird. . Im Fall von 
Paketverlusten wir das zuf allige Kanalverhalten C nach der 

Ubertragung von Bild « durch eine binare Sequenz * ' mit />oo 

die Anzahl der Pakete, die notwendig sind urn die Bilder^ # " ,w zu 

ubeftragen. Ein 0- in • der " Kanalsequenz bezeichnet ein korrekt 

empfangenes Paket wohingegen eine 1 ein verlorenes Paket 

indiziert. Die Zuf allsvariable, die die binare 

c 

Kanalverlustsequenz bis Bild * beschreibt wird mit p*» 
bezeichnet, wobei P ^die Lange der Sequenz spezif iziert • Die 
Pixel -Verzerrung am Decoder ist dem Encoder unbekannt da sie vom 
rekonstruierten Pixel-Wert. am Decoder bezeichnet als s * abhangt . 
Somit hangt dieser natiirlich vom Kanalverhalten ab und wir heben 
die Kanalabhangigkeit und die Codieroptionsabhangigkeit hervor, 

indem wir den Pixelwert schreiben als 5/ . Unter der Annahme 

dass der Encoder zumindest die Verteilung des Kanalverhaltens 

C s 
poo kennt und mit ' dem Original -Pixelwert konnen wir im Encoder 

eine Schatzung des Erwartungswerte s des rekonstruierten Pixel - 

Wertes am Decoder erhalten, also 




(4) 



Q 

wobei die Mittelung uber den Kanal p<!tm *>erf olgt . 
Urn diesen Ertwartungswert zu erhalten kann man die folgende 
einfache Methode benutzen. Wir nehmen an, dass wir T Kopien der 
Zuf allsvariablen „ Kanal verhal ten w im Encoder zur Verfiigung 
haben, jeweils notiert als C po»^. Zusatzlich nehmen wir an, dass 
die Menge der Zuf allsvariablen Cp ^\ f = h— 9 T identisch und 
statistisch unhangig verteilt sind. Dann, mit T — >0 °, folgt aus 
dem starken Gesetz der grofien Zahlen, dass 
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~X Si-s{Cr<*(t) 9 oi 2 = Ec P <n,Sr-Si(Cp<, h o] 2 = d{6) 



(5) 



mit Wahrscheinlichkeit 1 gilt. Eine Interpretation der linken 
Seite fuhrt zu einer einfachen Losung des vorher erorterten 
Problems der Schatzung von rf < . Im Encoder werden T Kopien der 
Zufallsvariablen Kanalzustand betrieben. Die Rekonstruktion des 

c CO 

Pixelwertes hangt vom Kanalverhalten und der 

Fehlerverschleierung im Decoder ab. Die T Kopien von Kanal und 
Decoder Paaren im Encoder operieren unabhangig. Somit kann im 
Encoder die zu erwartende Verzerrung im Decoder relative genau 
geschatzte werden falls T n ur gro£ genug ist . 
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